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Введение. Статья посвящена задаче автоматического обнаружения и распознавания автомобильных номеров, 
решение которой имеет множество потенциальных применений, начиная от обеспечения безопасности и заканчивая 
управлением трафиком на дорогах. Целью данной работы являлась разработка интеллектуальной системы 
нахождения и распознавания автомобильных номеров, основанной на применении алгоритмов глубокого обучения 
и сверточных нейронных сетей, учитывающей различные региональные стандарты автомобильных номеров, и 
устойчивой к различным расположениям камеры, качеству видео, освещению, погодным условиям и деформациям 
номерных знаков. 

Материалы и методы. Предложен комплексный подход к решению задачи, основанный на применении 
сверточных нейронных сетей. Проведен экспериментальный анализ нейросетевых моделей, обученных под 
требования задачи универсального распознавания номерного знака. На его основании были выбраны модели, 
показывающие лучшее соотношение качества и быстродействия. Качество системы обеспечивается оптимизацией 
различных моделей с различными модификациями. В частности, сверточные нейронные сети обучались с 
использованием изображений из нескольких наборов данных. Кроме того, для получения наилучших результатов 
используемые модели были предобучены на специально сгенерированном синтетическом датасете. 

Результаты исследования. В статье приведены численные эксперименты, результаты которых свидетельствуют о 
превосходстве разработанного алгоритма над коммерческим пакетом ОрепАГРВ на публичных наборах данных. В 
частности, на наборе данных 2017-Г/Т45-НОВ_Г/Р-дажазе{ точность распознавания номерных знаков составила 94 
процента, а на наборе данных АррИсайоп-Опещеа Глсепзе Р1зе 86 процентов. 

Обсуждение и заключения. Полученный алгоритм может быть использован для автоматического обнаружения и 
распознавания автомобильных номеров. Проведенные эксперименты показали, что качество алгоритма не уступает 
качеству коммерческого пакета ОрепАГРК. Качество разработанного алгоритма можно увеличивать за счет 


увеличения тренировочного датасета, что не требует участия разработчика. 
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Введение. Системы автоматического распознавания номеров (АГРК) используются для автоматического 
контроля скорости движения, идентификации угнанных транспортных средств, контроля доступа транспортных 
средств в частных помещениях и взимания платы за проезд! 1,2, 3]. Однако большинство существующих 
алгоритмов” ы работают только для конкретного шаблона номерного знака или со сложными системами захвата 
изображений, требовательны к условиям освещения и типам транспортных средств [4, 5, 6]. 

Благодаря быстрому развитию глубинного обучения и его приложений в области компьютерного 
зрения [7] стало возможным создание системы АГРЕ, способной распознавать многочисленные шаблоны 
номерных знаков в произвольной среде" ° [8]. Основными трудностями при распознавании номерных знаков 
являются особенности условий съемки — наличие дождя, снега или плохое освещение. Задача распознавания 
становится более сложной, если номерной знак имеет нетривиальные площадь и соотношение сторон, цвет фона, 
форму, количество линий, размер шрифта, расстояние между символами и т. д. 

Целью данной работы являлась разработка системы распознавания автомобильных номеров, 
поддерживающей различные региональные стандарты номерных знаков, и не зависящей от условий видеосъемки 
автомобилей, таких как грязь на номерах, погодные условия и т.д. 
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Материалы и методы. Автоматическая система детекции и распознавания автомобильных номеров. В 
рамках данного раздела дается описание программной реализации системы обнаружения транспортного средства 
на фотографии, нахождения в нем номерного знака и его распознавания. 

Предлагаемая система состоит из композиции нескольких нейросетевых моделей. Идея КОМПОЗИЦИИ 
заключается в том, что на вход следующей модели подается результат выполнения предыдущей, а весь процесс 
анализа разбивается на этапы. Схематически принцип работы системы представлен на рис. 1: 


Обнаружение транспортного Обнаружение номерного знака / Распознавание символов номерного 


Средства / Уее деесНоп Тлсепзее р1апе д&есНоп знака / Глсепзе рае гесозт!оп 





Рис. 1. Трехэтапный подход в задаче обнаружения и распознавания номерных знаков 


Первый этап работы алгоритма заключается в обнаружении транспортного средства. Для решения этой 
задачи использовалась модель $50 Везпей, обученная на наборе данных СОСО (Соштоп ОБесз ш Сошех®)”. 
Результатом работы данной модели являются фрагменты входного изображения, которые включают в себя 
транспортные средства. На втором этапе полученные фрагменты подаются на вход разработанной модели детекции 
автомобильных номеров, которая возвращает фрагменты изображения, включающие только автомобильные 
номера. На заключительном этапе производится распознавание символов, образующих автомобильный номер, и их 
склейка. Подробное описание разработанных моделей, используемых во втором и третьем этапе работы алгоритма, 
приведено в соответствующих разделах статьи. 

Выбранный подход обладает следующими преимуществами: 

Отсекаются объекты, которые могут восприниматься как номерной знак: вывески на витринах магазинов, 
окнах или ограждениях; 

Становится возможным установить взаимосвязь между номером и соответствующим транспортным 
средством, предусматривая расширение системы в сторону распознавания других характеристик, таких как вид, 
марка и модель транспортного средства, цвет и направление движения, отслеживание в видеопотоке; 

Сохраняется модульность системы, состоящей из независимых моделей, специализирующихся в решении 
конкретной задачи на высоком уровне. 

Модель детекции номеров. Начальный набор данных для тренировки модели представлял из себя 1700 
изображений индийских автомобилей, снятых под определенным углом. Обученная на данном наборе модель не 
являлась вариативной к разным условиям, поэтому был применен метод псевдолейблинга” для неразмеченных 
наборов данных (изображений с транспортными средствами). Таким образом, изначальный набор данных для 
тренировки был увеличен до 400 тысяч изображений. Размер набора данных для валидации равен 5% от набора для 
тренировки. Изображения выбирались случайно и проверялись на правильность разметки координат номерного 
знака. 

Для оценки качества модели использовались метрики 100 (ПиегзесНоп оуег ОпНоп), тАР (теап Ауегазе 
Ргес151оп) и АВ (Ауегаее Веса!)*: 

'ОаесНопВохез_Ртес151оп/тАР': точность классов, усредненная по пороговым значениям 100 в диапазоне 
от 0,5 до 0,95 с шагом 0,05; 





'ТепзогНо\! деесНоп тоде! 700. АуаПаЫе а: Нир://Чо\утоад.лепзогЙ озу. оге/лтоде15/оБ}есЕ_ 

ЧеесНоп/5$4 тезпе!50 у1 рп зВагед_Бох ргед1сюг 640х640_сосо14 зупс 2018_07 0З.лаг.о7 (ассеззед: 03.11.2019). 

2 СОСО — Соштоп ОБесз ш Сошехе. АуаЙаЫе а: Вир://сосодабазе. ого/#Воте (ассеззеа: 03.11.2019). 

3 Рзеидо-ГафеНпе ап Сопйгтаноп В1аз т Оеер Зеп!-бирегузе4 Геагиупе / Е. Агало [её а1.]. 2019. 8 Ато. // агХу ргергии агХ1у:1908.02983. 
4 тАР (пеап Ауегасе Ргес151оп) ког ОБуес! РеесНоп. АуаЙаЫе ай: НИрз://пе4дтат.соп/@}опафап_Ви/тар-пеап-ауегасе-ргес1юп-вог-оБ]ес{- 
еесНоп-45с121а31173 (ассеззеа: 30.10.2019). 
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'РаесНопВохез_Ргес151оп/тАР@.501О00': средняя точность классов по значению ТоП равному 0,5; 

'РаесйопВохез$_Ргес1$1юп/тАР (зтаП)': средняя точность классов для маленьких объектов (площадь < 32^2 
пикселя); 

'РаеснопВохез$_Ргес1$1юп/тАР (тедпит)': средняя точность классов для объектов (32^2 пикселя < площадь 
< 96^2 пикселя); 

'аесНопВохез_Ргес1$1юп/тАР (1агее)': средняя точность классов для больших объектов (96^2 пикселя < 
площадь < 10000^2 пикселя). 








Таблица 1 
Результат тАР на валидационных данных 
м / шАР 
Задача / 1азК — ШАР — шШАР@.50100 тАР@.15100 шАР (зтаП) “| шАР (агее) 
то4е1 (те тит) 
Обнаружение 850 
номерных знаков/ Моб|еМеё у! 0,8292 0,9843 0,9739 0,7199 0,8197 0,8544 

Глсепзе р!аёе деесНоп ЕРМ 
































Полученная модель устойчива к размеру входного изображения (таблица 1), обнаруживает номерные знаки 
под наклоном, а также с нетривиальным соотношением сторон. 

Модель распознавания номеров. Задача распознавания номерного знака сводится к задаче детекции 
объектов 36 классов: 26 букв латинского алфавита верхнего регистра и 10 цифр. 

Начальный набор данных для обучения модели представлял из себя 1700 изображений индийских 
автомобилей. Валидация происходила на 10% от начального набора, состоящих преимущественно из 
трудночитаемых изображений, размеченных вручную. 

За отсутствием в достаточном количестве размеченных наборов данных, удовлетворяющим требованиям 
обучения модели распознавания номеров, было принято решение сгенерировать синтетический набор данных. В 
качестве аугментаций использовались такие преобразования как поворот, размытие и затемнение, а также 
различные размеры и цветовые раскраски номерного знака, начертания шрифтов, расстояния между символами 


(рис. 2). 
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Рис. 2. Примеры генерируемых изображений 


Модель обучалась на синтетическом наборе данных, включающем 300 тысяч изображений. Для 
повышения точности и количества реальных данных для обучения модели была применена техника 
псевдолейблинга, увеличившая набор реальных данных до 250 тысяч. Точность распознавания на валидационном 
наборе данных выросла на 15%, достигнув отметки в 63% (рис. 4). Этот рост обусловлен присутствием в реальных 


изображениях артефактов, недоступных при генерации. 


Полтавский А. В. и др. Автоматическое распознавание автомобильных номерных знаков 


Ройау5кИ А. И., её а. Ашотайс Псеп5е-р ще гесогтйоп 


ОекесцопВохез _Ргес5юп 


ПАР 
129; Ошестопвохев. Ртесвог/тАР 


Рис. 3. Результаты тАР модели до и после добавления реальных наборов данных 

















Таблица 2 
Сравнение тАР моделей на валидационных данных 
тАР 
Задача / 1азК | Модель / то4е! АР тАР@,50109| тАР@,751ОЧ0 | тАР (зта|) иен ШАР ([агое) 
Еачег В-СММ 0,4783 0,9372 0,3578 0,4689 0,5251 0,5543 
Распознавание Кезте!-101 
0,6332 0,9503 0,7228 0,6009 0,6397 0,7051 
номерных знаков 
/Тлсепзе р!а4е Вы 0,5567 0,9534 0,6113 0,5569 0,6094 0,6493 
тесови оп В-СММ 
псерйоп у2 0,5784 0,9652 0,6184 0,5583 0,6157 0,6676 
































Результаты исследования. В полученной комбинации нейросетевых моделей каждый из классификаторов 


независимо обучался с использованием изображений из нескольких наборов данных, включающих в себя номерные 


знаки стран всех континентов и методов увеличения этих наборов для достижения устойчивости в различных 


условиях" _ 


Для оценки результатов обнаружения номерных знаков использовалась метрика ю0. Для задачи 


распознавания символов номерного знака правильно размеченным считалось то изображением, в котором все 


символы в номерном знаке были распознаны корректно. Лишний, отсутствующий или некорректно распознанный 


символ считались ошибкой на всем номере. 


Сравнение результатов проводилось с последней облачной версией коммерческого пакета ОрепАГРВ? ис 


упомянутым выше исследованием 2016 года“. Тестирование проводилось на наборе данных 2017-ГМ/Т4$-НОВ_Т.Р- 


дайазе! (таблица 3), предоставленном в исследовании’ и АррИсаноп-Опеше Глсепзе Р1ае (АОГР) (таблица 4), 


6 у у 
предоставленном в исследовании ‚ включающим в себя 2049 изображений с таиваньскими номерными знаками. 


Они подразделялись на три подмножества с различным уровнем сложности и условиями фотографирования: Ассез$ 
Сопйёго] (АС), Га\му Епгсетепи (ГЕ) и Коа4 Райо] (КР). 





' Рзеидо-ГаБеНие апа Сопйгтаноп В1аз ш Оеер Зеп1-Зирегузе4 Г.еагоае. 
? Мозги? ЕЕ, еЁа1. Но\! птасН геа] даба 4о \е астлаПу пеед: Апа!у7те обуесе деесНоп реогтапсе изте зупейс апа геа! дайа. 2019. агХ1у ргерние 


агХ1у:1907.07061. 


3 ОрепАГРВ Сюпа АРТ. АуаЙаЫе а: Врз://ар1.орепа!рг.соп/У2/ (ассеззеа: 02.11.2019). 
4 ТА Н., ЗВеп С. Ор. сй. 
5 Нзи С., СВеп Г., Свои? У. Ор. сй. 
°ТАН., ЗВеп С. Ор. сИ. 
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Таблица 3 

Численный эксперимент на публичном наборе данных 2017-ГУТ4$-НОК_ГР-4афазей 

Метрики / шей-с$ оиг5 ОрепАГРКВ 
Количество корректно распознанных номерных знаков / 
Митьег оЁ соггес Псепзе р]аёе гесоэпопз 619/653 377 / 653 
Процент корректно распознанных номерных знаков / Регсепё оЁ 94 79 57.73 
соггесе Нсепзе р!аёе гесоспюоп5 ? ? 

Таблица 4 


Численный эксперимент на публичном наборе данных 





| Применяемые решения/ |Подмножество АС / | Подмножество ГЕ / | Подмножество ВР / 
Метрики / тей1с$ 





























АррПе4 зооп$ ЗибзеЕ АС (%) ЗибзеЕ ГЕ (%) Зи6бзе( КР (%) 
оит5 95,58 93,97 94,29 
ОрепАГРК 91,80 86,89 90,84 
[12] 1$ арргоасбСмив СММ Г) 93,53 89,83 86,58 
1 2 4 
О обаарижовия [12] 1$ арргоасВСмив СММ П) 93,25 90,6 86,7 
номерного знака / | [12] 18 арргоасв(\миВ СММ Т 93.97 92.87 87.73 
р!ае деесйоп &П 
[12] 2% арргоасВС\мий оба] 90,50 91,15 83.98 
Геабиге$ оу) 
[12] 2% арргоас Сми Бо 94,85 94.19 88.38 
1оса[ апа 21офа| Ееафиге$) 
Количество 
корректно 
распознанных оит5 88,75 83,94 85,40 
номерных знаков / 
питабег оЁ соггес 
1Те{ег гесо2т1опз: 
ОрепАГРК 86,04 77,98 85,71 























Обсуждение и заключения. Были построены модели для обнаружения и распознавания номерных знаков 
транспортных средств. Согласно численным экспериментам, модель для обнаружения номеров оказалась точнее 
решений, полученных в 2016 и 2019 годах” на наборе данных, опубликованных в 2013 году’. Модель 
распознавания автомобильных номеров оказалась точнее решения 2019 года" на наборе данных, полученных в 2017 
году [8]. Для увеличения точности моделей были использованы методы генерации синтетических данных и 
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4 ОрепАГРВ. Соца АР. 


Полтавский А. В. и др. Автоматическое распознавание автомобильных номерных знаков 


Ройау5 КИ А. И., её а. Ашотайс Псеп5е-р ще гесогтйоп 





псевдолейблинга. Полученная система оказалась устойчивой к размеру входного изображения и особенностям 
среды. 


Библиографический список 

1. Вегяет, О. Ачютайс уешсе 14епйЙсайоп: 1есппо]оз1ез апа ГапсНопаПие$ / О. Ветзует, А. У. Капаап // 
Тоигпа! оЁ ПиеШзеп Тгапзронайоп Зузет. — 1993. — 1 (2). —Р. 191-204. 

2. Оеуеюортепё оЁ уеме-Псепзе питбег гесогпйюп зузет изше геа|-@те птасе ргосеззше ап Из 








аррИсаНоп фо гауе]-Ите теазигетепе / К. Капауата [е# а1.] // ТЕЕЕ Уемсаг Тесбпоозу Сопегепсе. — Мау, 1991. — 
Р. 798—804. 

3. Кеззепишщ, У. А \о-5асе 4еер пеига! пебмогК юг ши#-погт Псепзе р]ае д&есйоп ап4 тесосшйоп / У. 
Кеззепит, М.О. Везбез, $. Апитаг, А. СВабфочВ // Ехре{Зузетз \И АррИсаноп$. — 2019. — Уо1. 136. — Р. 159— 
170. 

4. Т1ап, Г. А 5\о-$асе сВагацмег зеотетщайоп те#о4 юг Сшезе Псепзе рае / Г. Т1ап, В. \Мап®, С. У/апе, ]. 
Гли, У. Хла // Сотшршег$ & Несилса! Епотеегте. — 2015. — \о1.46. — Р. 539—553. 

5. А СММ-Базе4 арргоасВ Юг амютанс Псепзе рае тесозт оп ш Фе \ ПА / М. опа [её а1.] // ВиизВ Мас ше 
У151юп СопЕгепсе (ВМУС). — 2017. —Р. 1-12. 

6. ГеСип, У. Оеер 1еагите / У. ГеСип, У. Вепэло, С. Ниюп // Мате. — 2015. — Уо]. 521, по. 7553. — 
Р. 436-444. 

7. Но|з#с гесоспйоп оЁ1о\ ацаШу Нсепзе рез Бу СММ изо ‘тасК аппоае4 Чаца / 1. брапве! [её а1.] // 14 
ТЕЕЕ Пцегпайопа! СопЁегепсе оп Адуапсеа У14ео апа 512па| Вазе4 ЗигуеШапсе (АУЗ5). — 2017. — Р. 1-6. 


Сдана в редакцию 16.01.2020 
Запланирована в номер 05.03.2020 


Об авторах: 

Полтавский Артем Владимирович, студент кафедры «Алгебра и дискретная математика», Институт 
математики механики и компьютерных наук им. И. И. Воровича, (344058, РФ, г. Ростов-на-Дону, 
ул. Мильчакова, 8а), ОВСТО: № рз://огс14.0ге/0000-0003-3937-1143, роаузКу@зЕеда.га 





Юрушкина Татьяна Геннадьевна, преподаватель кафедры «Естественные науки», ФГБОУ ВО 
«Донской государственный технический университет» (344002, РФ, г. Ростов-на-Дону, пл. Гагарина, 1), ОВСШ: 
Брз://огс14.0г2/0000-0001-8413-8506, + ушгазПКта@ета!.сот 





Юрушкин Михаил Викторович, старший преподаватель кафедры «Алгебра и дискретная математика», 
Институт математики механики и компьютерных наук им. И. И. Воровича, (344058, РФ, г. Ростов-на-Дону, 
ул. Мильчакова, 8а), кандидат физико-математических наук, ОКСШ: |#@рз://огс14.0г2/0000-0003-2477-0459, 
т.уцгаз ВК (@отай.сот 








Заявленный вклад соавторов 

А. А. Полтавский — исследования, проведение расчетов, подготовка текста, формирование выводов, 
анализ результатов; Т. Г. Юрушкина — проведение расчетов, подготовка текста, формирование выводов, анализ 
результатов; М. В. Юрушкин — формирование основной концепции, цели и задачи, научное руководство, 
доработка текста, корректировка выводов, исследований. 


Все авторы прочитали и одобрили окончательный вариант рукописи. 


Информатика, вычислительная техника и управление 


№) 
№) 


